如何用AI制作动画

Created

作者:Studio Borolo

日期:2023-12-28


教练,我想做动画!

也许有一天,你在观看了一部特别屌的动画之后,心中涌出了一股强烈的冲动:“教练,我想做!动!画!”

注:此图由ChatGPT于2023年12月底生成

于是,你上网查了一下“怎样制作动画”,得到了一堆信息和专有名词,例如脚本、分镜、原画、监督、诸如此类。

你对这些一知半解,同时,你意识到自己既不会画画也没有耐心操作一堆软件,对动画制作的专业知识更是一片空白。

“哎,我是个只会动动嘴皮子,没有一技傍身的家伙啊。。。”,你这样想着,刚发下的宏愿眼看就要夭折。

吉欧豆麻德 Wait a minute! 会动动嘴皮子?别急别急,有了AI加持,也许你“动动嘴皮子”就能做出牛逼的动画!!!

注:此图由ChatGPT于2023年12月底生成,文字不准确。

进击的AI

2023年,AI技术和产品层出不穷。你也许知道ChatGPT,除此之外,还有Midjourney, Pika, Leonardo AI,。。。,一个接一个层出不穷

现在你发现了这些宝藏工具不需要你任何专业知识,只需要你“动动嘴”(打字),于是你把搜索从“怎样制作动画”变成了“怎样用AI制作动画”。

于是,你看到了诸如 “2分钟学会动画制作”、“用AI做视频赚钱”、“一张图生成3D动画电影”之类的各类教程。

在你学习并按照这些教程亲手操作了之后,你惊喜地发现,自己确实能在短时间内得到一个“动画”,准确的说,他们本质上更接近“动图”。因为它的质量,与真正的动画还有很大的差距。

“是我哪里做的不对吗?” “垃圾教程!” “工具还是不给力啊!” 你脑子里闪过无数的念头。那么,为什么目前用AI制作动画质量还不够好呢?

除了AI还不够发达以外,另一个很重要的原因是:动动嘴皮子,也没你想的那么简单!

这就好比哈利波特世界里的巫师念咒,即使咒语告诉你了,不同人念出来也会差距

类似的,要想用好 AI 技术,我们即使缺乏相应的专业技术,也应该先补补课,对做一件事的逻辑要有清晰的认识

那么接下来,我们先了解一下:传统动画制作流程是怎样进行的?弄明白这一点之后,我们就可以将各个步骤做适当的增删和概括,然后用正确的姿势使用和结合不同的AI 工具。

这里我们虽然讨论的是动画制作(更具体而言,是2D动画),但是其他诸如小说、漫画、3D 动画、定格动画、游戏等等,也是一样的道理。

传统动画制作流程:精华版

简单来说,一部动画作品从起始到呈现在观众面前,经过了四大阶段:前置(pre-production),制作(in-production),后期(post-production),宣发(Marketing & Publicity)

动画制作流程中包含的不同工种。这里描绘了前置,制作,后期三个阶段。Image from [6]

动画制作通常分为四大阶段,每个阶段包含了多个关键步骤:

1. 前置(Pre-Production)

这个阶段是动画制作的计划和准备阶段,包括:

2. 制作(Production)

这是实际制作动画的阶段,涉及:

3. 后期(Post-Production)

动画制作完成后的处理阶段,包括:

4. 宣发(Marketing & Publicity)

动画制作完成后的推广阶段,主要包括:

每个阶段都对动画的最终品质和成功起到了关键作用,需要团队成员之间的紧密合作和协调。

不同动画公司的制作流程大同小异,这里展现的是一种典型流程,但不是所有的动画公司或工作室都严格遵循同一套流程,根据需要可以更繁杂或简化。

好了,到这里,你已经大致了解了动画制作的流程。如果对进一步的细节不感兴趣,那么可以直接跳到后续关于”AI动画制作流程”的介绍。

如果你还想多了解一点点,那么接下来,我们再具体唠一唠每一个环节是怎么回事。


传统动画制作流程:加量版

这里我们再深入聊聊动画制作的前置、制作、和后期阶段。宣发过程属于制作完毕之后的推广,我们就不再赘述了。

动画制作流程图

1. 企划:如何搞钱?

你脑子里现在有了一个绝妙的idea,觉得不把它做成动画你浑身难受。于是你摩拳擦掌准备大干一番了。

那先问你一个问题:做动画最重要的事情是什么?

“大牌的画师!” ❌

“牛逼的监督!” ❌

“优秀的声优!” ❌

。。。

也不是绝对的错,这些都很重要。但是,最最最重要的第一件事是:

搞钱!Money! Dollar! 票子!

重要的事情说三遍,极重要的说四遍 (¬◡¬)✧

如果没有资金,就请不到优秀的团队去完成动画制作这么一项浩大的工程。💰是后续一切步骤的基础。

动画制作有多么费钱?

以日本深夜动画为例,制作一集的成本至少在1000万~1500万日元,大约 60万~90万人民币 一集[7]。那么一部13集的深夜动画至少需要700万~1200万人民币。

这么巨大的花费,即使是动画制作公司,也很少一力承担。因此,首先要做的事情是:筹钱

谁来给钱呢?有利可图的赞助商。如果这个动画的制作能带来可预见的未来收益,那么就会有不同行业的公司愿意参与其中,形成一个叫做“制作委员会”的机构(外号:金主),来赞助制作。

简单来说,制作委员会就是一群大佬们坐在一起来商量怎么筹钱出资、怎么赚钱花钱的地方。出钱多的大佬话语权往往也更重。这里制作委员会不一定包含动画制作公司。如果没有动画制作公司,就会以外包的形式将制作作业交给承包商。

因此,动画制作是一项集团作业。一部动画的制作涉及到的不只是动画制作公司,还有播放他们的电台,销售,周边生产商,玩具商,游戏发行,漫画和小说出版等等。“制作委员会”将这些与动画制作相关要素统一起来。制作委员会由出资的多个公司或团体构成。由多个公司出资的话,在分散了资金风险的同时,也会基于出资的比率进行收益分配,从而实现筹款和风险均摊的目的。同时出资的公司对自己擅长的经营领域拥有优先权。例如卖玩具的公司会希望在动画里面插入更多的玩具元素。

除了费钱之外,动画工业还有着诸多工序以及不同工种的配合。你知道具体而言,动画制作小哪些工种吗?一般制作电视动画,会有如下职员参与:

图1:制作动画需要的工种。有些作品需要的甚至更多(例如机器人设计师,道具服装设计师等)。上图添加了五角星的职务必须具备绘画技术。来源:舛本和也. “制作进行: 一本书让你彻底了解动画制作” [1]

制作一部长度不到30分钟的电视动画,需要的相关人员可达两三百人,时长大约两个月。随着 AI 技术的提高,动画制作的成本,工作流程和效率都会被大幅优化。相信这会给行业带来全新的工作方式和生态。

搞定了钱的问题,还得作品的准备:想做一部什么样的作品?目标受众是谁?基于某个已有的原作(例如小说、漫画等)还是原创一个原案?这些问题都得在企划阶段解决。

总结来说,企划是动画制作的初始准备阶段,主要解决钱和原案的问题。其中原案是关于动画最初方案的提案,包括故事大纲、角色设定等。而原作则特指那些已存在的作品,如漫画或游戏,它们作为动画改编的基础。

2. 脚本:故事咋讲?

有了原案之后,接下来该制作脚本了。

脚本和原案什么区别呢?假如说原案是本小说,可以直接用吗?不行🚫

原案只是提供了动画的内容基础,而脚本是“用文字书写的动画设计图”。它详细描述了动画中的每一个场景、角色对话、行为和表情等信息。

动画脚本包含的内容包括:

  • 场景描述:详细描述每个场景的环境、时间(如白天、夜晚)、地点(如城市、乡村)等。
  • 角色描述:详细说明角色在场景中的具体行为和动作,对话,表情和情感状态等。甚至声音的变化。
  • 特殊效果:如需要特殊视觉或声音效果的说明。
  • 场景转换:场景如何转换,例如渐变、剪切等。

下面是一个例子:

图2:脚本范例。来源:舛本和也. “制作进行: 一本书让你彻底了解动画制作” [1]

3. 设定:人物场景啥样?

脚本用文字描绘了动画内容的脉络,而设定则给动画的风格定下更具体的基调。

设定包括人物设定、场景风格和整体气氛的设定、小物件设定、表情集、作画监督修正集等等。

人物设定赋予角色灵魂。根据剧本中的人物性格,设计师创造出每个角色的基本造型(例如面部特征、体型、衣着配饰和色彩搭配)。除了外观上的设计,还要通过角色的动作、表情甚至习惯爱好等来体现其性格特点,使每个角色都具有独特性和辨识度。

《刀剑神域》亚丝娜人物设定

《千与千寻》千寻人物设定

接着是场景设计风格的确定。场景设计需要与人物设计风格相协调,确保两者在视觉上的一致性。同时,场景设计还需考虑剧本中的场景描述,以及角色与环境之间的互动合理性。这意味着场景不仅要美观,还要在故事叙述中发挥作用,如通过布局和细节加强故事情节。

松本大洋的《恶童》场景
《哈尔的移动城堡》场景设定

气氛图的制作则是为了确定整部动画的色彩风格和情绪基调。通过气氛图,设计师展示了动画的整体视觉效果,包括色彩搭配、光线使用和视觉风格,这有助于团队理解和统一整体的视觉方向。

色彩的指定也是设定阶段的重要部分。色彩的选择不仅影响视觉效果,还能影响观众对场景和人物的情感反应。通过精心选择色彩方案,动画师能够更好地传达故事氛围和情感。
除了这些,设定阶段还可能包括道具设计、光影效果、文字和图形设计等。每个项目的具体内容可能会根据动画的类型和制作团队的需求有所不同。

4. 分镜:怎么拍?

脚本定义了故事的脉络,设定进一步将人物、场景等形象丰满。接下来的分镜,则解决“怎么拍”的问题,也就是镜头语言的安排。

分镜,又称为分镜头脚本或故事板(Storyboard),就是动画的整体设计草图。它通过一系列的画面草图和文字来展示脚本中的场景,包括角色的位置、动作、表情,以及摄像机的视角和动作,镜头的长度(时间)。分镜是导演和制作团队将脚本转化为可视化场景的关键步骤。当不同的人读同一段话,总会有不同的想象。但是分镜却可以将这种不同的想象汇成一体,确定下来。在分镜中,可以知道在每个不同镜头中人物所做的事情。

分镜包含五大要素:镜头编号、画面、动作、对话、时间

不同的动画公司使用的分镜格式不尽相同,但不管怎么变这五大要素都是必不可少的。

京都动画的分镜格式
GAINAX 和吉卜力的分镜格式

有观众会问,把动作画连续不是理所当然的吗,为什么还要专门指示?看这张图,新房昭之等人就不吃这一套,他们不会拘泥于运动的连续性,而是刻意追求一种跳跃的观感。

其实上面讲的分镜、运镜,都是为镜头语言服务的。镜头语言可以理解为创作者想要直接通过画面传递的意图,与构图、机位、摄影都有关系。这里不再赘述,可以参考[3]。

分解完成后,“制作进行”(指负责检查原画、动画、背景等具体工作进度,并对所分配到的制作工程的整体计划、工作人员的分配及制作进程进行规划,控制和监督协调的职位。)会制作一种叫“香盘表”的东西。香盘表是自古以来在舞台和电影拍摄等现场使用的一种表,上面记录了所有出场演员的角色名称,出场和退场场面等内容。哪个场面需要哪些演员和道具等,全都一目了然地总结在上面。
香表盘。来源:舛本和也. “制作进行: 一本书让你彻底了解动画制作” [1]

5. LAYOUT

Layout阶段,也称为第一原画,是在分镜之后,作画和背景之前的一道工序。将分镜中零散的信息整理到一张LAYOUT中,就构成了动画制作的基础。

LAYOUT需要哪些要素呢?粗略地讲,LAYOUT是由角色与背景的关系、角色的动作、对镜头运动的要求、对摄影以及CG制作上特殊效果的要求这4个要素构成的。其中最重要的是角色与背景的关系,也就是说要小心谨慎地构筑角色活跃的空间。如果在LAYOUT中构筑出了一个正确的空间结构,那么无论由怎样的作画人员来绘制原画,都能保证画面有一个相对高的品质。相反地,如果在LAYOUT中没能找出正确的空间结构,那么得到的就只可能是低质量的原画了。

《名侦探柯南》中的一个Layout
在一些工期比较赶,成本比较低的电视动画中,用Layout图直接上色当最终成品图是很普遍的操作。比如柯南里的这一幕,电视画面基本就是把Layout图清清灰上上色完事。
分镜→ layout → 原画 → 成品 的演化。可以看到,layout比分解线条精致了很多也多了更多画面细节,原画进一步美化线条、阴影、颜色等信息,最终画面添加了颜色、后期特效等等。
吉卜力《悬崖上的金鱼姬》layout
吉卜力《幽灵公主》layout

简而言之,Layout可以理解成一种强调动态,强调细节的进阶版分镜。

“如果说分镜是动画的设计图,LAYOUT就是动画制作的地基。作画、背景、CG制作,这一切的工作都是建筑在LAYOUT的基础上的。” ——近藤胜也 [5]

最开始导入LAYOUT这个制作环节的作品,就是《阿尔卑斯山的少女海蒂》。“是高田勋和宫崎骏两人将LAYOUT这个制作环境引入了动画制作的领域,在此之前都是画完分镜就开始画原画了。” 即使在日本动画界,LAYOUT这一步骤也不是非要不可(至少在教学上是几乎完全不讲的)。这其实是一种适当减轻细节复述压力和人力的“多余”步骤,多用于大型动画公司的庞大体系运作,或者是将原画外包的加工衔接环节。如果有能力控制整个班组的工作质量,那么就不需要LAYOUT;如果从头到尾都是一个小团队在制作,那么就不需要LAYOUT;如果本来就有很多专人去负责“纠察”各种问题,那么就不需要LAYOUT;如果根本不在乎影片的完成质量,那么就不需要LAYOUT……

6. 第二原画

大家通常说的原画实际上是“第二原画”环节。原画是以LAYOUT上的指示为基础绘制出的一个cut,也就是一个镜头中的主要动作。一般一卡长度大约是4秒左右,当然一个长镜头也会分割成多卡。

图片来源:https://ameblo.jp/paichan314/entry-12132693836.html

动画师们根据Layout(也叫第一原画)进一步细化动态元素,重点关注那些会移动的人物和物体。通过这一步,动画中的关键动作和表情得到具体化。二原将一原细化至可让动画中割参考的原画,为流畅的动画效果打下基础。同时对 layout的线条、阴影等信息也会进一步提高。

在一些工期比较赶,成本比较低的电视动画中,用Layout图直接上色当最终成品图也是很普遍的操作,也就是合并了LAYOUT和第二原画阶段。

作画人员绘制的原画将由作画导演进行检查,其后再交给动画人员加动画。

《EVA》明日香的第二原画

7. 背景

背景制作则负责绘制动画中每个场景的静态背景。从自然风光到城市街景,背景艺术家们创造出各种丰富多彩的环境,为动画世界增添深度和现实感。例如,我最喜欢的背景插画师男鹿和雄,绘制了许多宫崎骏动画中的优美背景

日本动画中人物和背景是分开画的。如果你仔细观察,很多动画镜头里面,背景是静止的或者通过平移之类摄影动作来变化,运动的主要是角色和一些物体:

《幽灵公主》背景静止的镜头例子
《龙猫》背景通过平移运动
《幽灵公主》多图层背景平移形成更复杂动态

现在越来越多利用3D建模来制作背景,例如进击的巨人:

《进击的巨人》结合3D建模软件来制作背景,可以大大节省背景作画量

8. 动画

原画之后是动画阶段。注意这里不是指最终的动画,而是为了让画面真正动起来而制作中间帧,也就是“中割”。原画阶段完成了表达角色动作的关键帧(例如动作的起始状态和一些重要节点),而中割的绘制是连接关键帧之间的空白,使动画动作生动连贯。

“中割”是动画的中间帧,连接原画(关键帧)从而形成连贯的视频。图片来源[8]
中割对应了最终动画的角色动态。画面来源[9]

中割的核心是让角色“动起来”。这个过程并没有那么简单。例如观察下面的小球运动:

可以看到,因为重力的影响,随着时间的前移,小球的位置并不是均匀变化的。另外有时候,在动画制作中也会展现一些夸张的加速和动态效果。为了确保动作的自然性和流畅性,需要用到一个很重要的动画制作工具:律表。

律表是什麼?(((゚Д゚;)?? 所谓的“律表”,翻译成英文是time sheet,它本质是个确定不同帧的“时间点”的表格。

律表可以說是动画制作历史上最伟大的发明之一。這卡作画該用一拍二、一拍三,甚至是混搭,藉由原画师亲自控制张数停留的时间来达到最好的动态,这是日本动画「作画」上最有趣、最深奧、也最迷人的地方之一。一个动作要流畅,不一定画的张数越多越好,而是要好好运用律表去控制作画节奏,这才是正确的观念。

如果你对律表的细节不感兴趣,可以跳到下一节“上色”。如果还想多了解一些,那我们继续聊聊。

日式作画使用的一张律表通常是24格*6秒=144格。一秒24格,一格1/24秒。

表格一般分为原画、动画、镜头三大栏,有时也会有填写台词的地方。

图片来源[11]
图片来源[11]

先看第一栏“原画栏”,它表示原画出现的具体时间点。

字母“ABCD”代表原画的分层,一般来说多个人物同时出现,或者是复杂的特效场景,都会使用分层作画。

竖向的小格子,每一格代表1/24秒。每秒24帧是传统电视节目的固定规格,原画和中割的绘制也遵循这个习惯。

带圈的数字①②③表示的是对应分层中的原画序号。

格子中的“丶”,代表的是“中割”的位置。这样一来,某个时间点应该使用“原画”,还是该插入“中割”,就一目了然了。

当画与画的间隔超过三个格子以上的时候,必须用波浪线或者是直线进行额外的标注。波浪线表示“在对应的持续时间内,当前的图层不使用任何画了”,而直线代表的是“这一张原画在持续时间内重复使用”。

第二大栏“动画栏”与原画表示方法基本类似,不过动画师要把原画师标注的“丶”,用不带圈的数字“1、2、3”进行编号。

还有一些特殊符号和简化律表等等,这里不再赘述。

9. 上色

上色阶段接着开始。在此环节中,动画师们根据色彩指南为角色和元素上色。上色并不是一个轻松的工作。例如,在上色前需要进行的二值化处理,统一线条,确保色彩能够均匀涂抹,为动画赋予生命力。

见本市第32集色指

之前所提到的色彩设计是决定整部作品中角色的颜色,色指定是根据色彩设计给出的前提资料下来决定单集中的颜色。将动画检查完后的动画扫描至电脑,再根据色指定的颜色对人物以及小物件进行上色。

10. 摄影

摄影阶段其实就是后期合成的过程,这里要将绘制好的背景、动画角色、和必要的特效结合起来,制作出最终的视频画面。

这一阶段名称的由来,是因为在早期赛璐璐动画中需要通过实际拍摄来完成这一过程。但现在都是用软件来合成。

赛璐璐是一种“塑料”(其实是一种热可塑性树脂),最早于1846年被发现。1870年美国公司为了生产这种塑料,注册了“Celluloid”的商标(谐音“赛璐璐”),后来这种塑料就被称为赛璐璐。赛璐璐一开始被用于取代象牙做假台球。到了1890年左右,随着照相机技术的进步,人们开始用赛璐璐制作胶卷。20世纪早期,好莱坞公司开始用赛璐璐胶片来制作动画。[12]

赛璐璐动画(Cel Animation)的基本原理很好懂。

一般动画可以分成“动”和“静”两部分。静的部分不需要加复杂的动作,也不需要频繁改变颜色,所以可以画在不透明的纸上,当背景。

动的部分需要加很多动作,需要反复改,所以画在半透明的赛璐璐胶片上,当前景。

一部赛璐璐动画的拍摄,就是把画在纸上的静态背景,和画在赛璐璐胶片上的动态前景,叠加在一起拍出来。

赛璐璐动画技术后来传到了日本,日本早期的动画主要都是赛璐璐动画。

11. 配音/乐

随后,配音和配乐阶段开始。这里声优们为动画角色配音,赋予他们独特的声线和情感。同时,配乐师创作出适合场景的背景音乐和环境音效,增强动画的整体氛围。

《CUE!》是一部以声优育成为主题的动画,于2022年播出

12. 剪辑

最后,剪辑阶段将整个故事串联起来。剪辑师在这一环节中将所有片段剪辑成片,调整镜头顺序和时长,确保故事的流畅性和吸引力,从而完成整个动画制作过程。

🔚

聊了这么多,你应该对“动画究竟是怎么制作的”有所了解了吧!现实中动画制作流程比以上介绍的流程更繁杂,存在着各种突发情况的发生等等。所以,每一部优秀的作品都是一个团队用爱发电的成果结晶。大家还可以去看《白箱》(日语:SHIROBAKO/シロバコ),一部关于动画制作的番,相信会得到更直观的感受。

动画《白箱》中的登场角色

那知道了这些有什么用呢?

不要忘了为什么出发:我们的目的是“用理论指导实践”。接下来,我们就看看学了这么多,能不能帮我们更好地“用AI制作动画”!


AI动画制作流程:《高级变形术指南》

随着AI技术的发展,个人或小团队制作高质量动画逐渐变得可能。在不远的未来,我们或许可以像巫师施法一般,通过一句话“给我制作一部类似哈利波特风格的魔法大片,并以80年代日漫风格呈现,时长两小时”就可以让AI产出一部质量堪比商业大片的电影。

“念咒语”的生产方式固然极度方便高效,但这样使得人对作品失去了足够的“控制”。可控性是让人对作品注入灵魂的关键。AI 加持的“念咒语”和原始的“手工制作”是对最终作品的不同程度的概括:前者是极致的抽象概括,而后者则可以高度控制细节。对不同智能程度的工具的利用,可以让我们以自己需要的粒度去概括和控制作品。

说回动画制作:什么样的控制粒度是合适的呢?假如我们严格按照传统动画的制作流程一比一进行复刻,只是将实际的写作或画画过程交给AI的话,可以最大化可控性。但同时,这也需要很多专业知识,对绝大多数普通用户而言并不实际。而如果通过一句或几句话就直接生成视频,又丧失了绝大部分的可控性。那么如何折中易用性和可控性呢?

我认为决定制作流程的原则是:在不需要或仅需要非常少量的专业知识(如:美术,摄影,动态,音乐)的前提下,能最大化用户的可控性。这样的话,用户在享受技术带来的便利的同时,也能充分发挥自己的想象和创造力。

因此,权衡之下,我们可以将AI动画制作流程简化为如下的5步:脚本 → 设定 → 分镜原画 → 动画 → 后期

下面我们具体解释并通过一个例子展示。现在正是2024年的元旦,不如我们以“过年”为主题,来做一个展现“年味儿”的动画短片吧^-^

1. 脚本

首先用文本生成AI来得到脚本,从而控制动画内容的脉络。

前面介绍过,脚本的核心元素是用文字描述场景状态、角色行动、对话、表情状态、特效和转换等。因此,我们应该在给AI工具的指令(prompt)中包含这些信息或要求。

具体操作:

  1. 登录ChatGPT(https://chat.openai.com/
    ChatGPT在2023年火遍全球,相信大家早已知晓,这里不再赘述。如果缺乏账号,需要注册一下。
  1. 通过ChatGPT得到脚本

    目前生成式的AI工具,怎样下指令(又称为prompt)非常关键。这里我用的prompt如下:

    You are a professional animation script writer. Please help me with the task below.
    
    Task description: I hope to create a short video animation within 1 minute, with less than 10 shots. The theme is Chinese New Year, showing the lively and festive atmosphere and joyful atmosphere of the Spring Festival, as well as various Spring Festival activities. For example, children playing with firecrackers, adults writing and pasting Spring Festival couplets, grandma preparing New Year's Eve dinner in the kitchen, a family having a happy meal, and fireworks at night, etc. At the same time, I wanted to add a touch of fantasy: at the end of the video, a festive dragon will appear flying in the sky during the fireworks. Please help me write a professional animation script to make this animated short film.
    
    Requirement:
    1. There will be some adults and children in the short film. The main characters are to show a little girl, a grandpa and a grandma. Please describe the video content and main character settings first.
    2. Then write the script in sequence according to the shots. It is necessary to show the scene status, character actions, dialogue (if necessary), expression status, etc. under different shots.
    Thanks!

    为方便阅读,这里也贴上中文翻译:

    你是一名专业的动画文案和脚本作家。请帮助我完成下面的任务。
    
    任务描述:我希望创作一个1分钟以内的短视频动画,大约10个镜头不到。主题是过年,展现春节的热闹喜庆的气氛和其乐融融的氛围,以及各种春节活动。例如小孩子玩鞭炮、大人写春联贴春联、外婆在厨房准备年夜饭、一家人其乐融融吃饭,以及夜晚烟花的场景等等。同时我希望带一点奇幻色彩:视频的最后烟花中会出现一条喜庆的龙腾飞在空中。请帮我写一个专业的动画脚本来制作这个动画短片。
    
    要求:
    1. 短片中会出现一些大人和小孩。主要角色要展现一个小女孩,一个外公和一个外婆。请先描写出视频内容和主要的角色设定。
    2. 之后按镜头依序写出脚本。要展现出不同镜头下的场景状态、角色行动、对话(如果有必要)、表情状态等。
    谢谢!

    在这个例子中,我提供了大致的文案思路。如果自己没有头绪,也可以直接让ChatGPT给出一些思路候选。
    根据上面的prompt,ChatGPT便会生成所需的脚本。例如,我得到的结果大致如下:

    如果对结果不满意,可以点击Regenerate或者调整prompt要求其继续生成,也可以手动修改。

2. 设定

接下来利用文本生成图片AI,我们可以得到角色设定、场景设定、物品设定等等。这样可以控制动画的人物形象等,保持前后设定一致。

这里继续使用ChatGPT,我给出的prompt如下图:

同理,如果结果不满意,可以继续生成或者手动调整。

3. 分镜原画

继续利用文生图AI,结合设定,我们可以可控地生成分镜原画,也就是关键帧。我们在这里合并了从脚本→ 分镜 → Layout → 二原的过程,直接生成最终可用的中间帧画面。

这里我所用的prompt如下:

I need to convert the script into animation keyframes. Please help me convert the previous script into prompts for image and video generation step by step.

Require:
1. For each script, I need two prompts: each image prompt is used to generate a key frame, and the other video prompt based on the image prompt is used to generate the corresponding video cut;
2. For the image prompt for Midjourney (the image generation AI tool I'm using), I need to maintain the consistency of the main characters and the consistency of the same scene at different times. So please include their descriptions appropriately. In addition, add "In the style of Studio Ghibli and Hayao Miyazaki --ar 16:9" at the end of each prompt so that I can generate images similar to Ghibli style;
3. For video prompt for Pika Labs (the image to video generation AI tool I'm using), it includes the image prompt. Then it adds lens movement and motion (e.g., "pan up", "zoom in", etc.), character actions, etc. on the basis of image prompt. Also include the duration of each shot, each shot should not exceed 8 seconds.
Thanks!
4. Don't use character's name. Instead, use names like "a 8 years old girl", "a 70 years old grandma", etc.

为方便阅读,这里也贴上中文翻译:

现在我需要将脚本转化成动画关键帧,请帮我将以上脚本逐条转化成用于图像和视频生成的prompt。

要求:
1. 对每一条脚本,我需要两条prompt:一条image prompt用于生成图像,另一条基于image prompt的video prompt会用于生成视频镜头;
2. 对image prompt (我使用Midjourney生成图像),我需要保持主要角色的前后一致和相同场景在不同时候的一致性。因此请恰当地包含它们的描述。另外在每条prompt的最后增加 “In the style of Studio Ghibli and Hayao Miyazaki --ar 16:9”,这样我可以生成类似吉卜力风格的图片;
3. 对video prompt (我使用 Pika Labs生成视频),它是在image prompt的基础上增加镜头的移动和运动、角色的行为动作等。另外包含每条镜头的时长,每条不要超过8秒。
谢谢!

得到的结果类似下图:

同样对结果可以多次生成或者根据需要调整。

有了结果之后,便可以利用文生图AI去得到视频关键帧。这里我们使用Midjourney (www.midjourney.com

网上有很多Midjourney的介绍,这里我们不再详述。登录Midjourney Discord频道后,可以利用类似下面的命令得到图片:

类似的,也可以得到不同关键角色的人物设定:

对于关键帧,我的做法是先将每一条脚本对应的prompt都输入Midjourney得到四格图的候选,之后挑选自己满意并且画风一致的进行放大等后续操作。

对于人物设定,关键是需要得到不同朝向的面部和不同表情等等。这里主要是为了保持前后人物设定的一致性。

“一致性”目前依然是图像和视频生成AI的痛点:核心问题是如何保持在不同帧,人物和环境能前后设定一致。目前版本的Midjourney通过生成设定再利用”/prefer option set 命令 + 局部重绘“的方式,能大致做到人物长相一致,可参考[13]等网上的各种视频教程。

简单来说,”/prefer option set” 可以利用多个设定图来构建一个人物参考,而 ”局部重绘“允许我们选择生成图片的一部分(例如面部,服饰等),结合参考图进行重绘,这样就打到了控制人物一致性的目的。当然目前这些操作还不够便利和完美,有待进一步提高。

除了”/prefer option set 命令 + 局部重绘“这种做法外,还有诸如一张图里面包含同一角色的多个动作等(类似生成设定图,在 prompt 里面指定)。这些技巧,我认为都是因为目前的 AI 工具还不够发达导致需要很多 tricks。相信随着AI功能的快速提高,以后对操作上的奇淫巧技的需要会越来越少。因此这里我也不想过多讨论这些操作细节。

注:有时生成的图片内容很满意,但是Midjourney却加了类似电影截屏的黑边。这时可以利用一些在线工具轻松去除并保持图片的16:9的比例。例如我用到的免费在线图片裁剪工具:https://www.iloveimg.com/crop-image

4. 动画

在得到了关键帧之后,我们利用图生视频AI生成中间帧让它“动起来”。

这里我们用到的图生视频软件是Pika (https://pika.art/),与 Midjourney一样,目前也可以在Discord中使用,因此很方便。关于Pika Labs的具体使用也可以参考网络视频,这里不再赘述。不过也很简单,主要在于:

Some explanation about Pika command. Image from [14]

下面是我们实际的生成例子:

实际操作中,可能每一帧需要重复生成10多次,可以找到一个比较满意的片段。如果依旧不满意,需要考虑prompt的描写是否恰当。

生成视频片段后,还有两个问题:

5. 后期

最后,我们还可以利用其他软件最视频做最终的配音、配乐、剪辑、合并、特性等。这里我们用到的主要工具依然是CapCut (剪映国际版,免费)。

在这个教程中,我使用了CapCut来合成下载的音效和配乐(https://www.capcut.com/tools/add-audio-to-video),操作十分简单:上传视频、音频、图片等多媒体素材,在时间轴上进行拖拽合并即可:

CapCut视频编辑在线操作界面截图展示

之后根据需求,还可以添加封面封底、文字、特效、字幕等等。

最后,我们来看看最终成品吧:

《龙之春》by Studio Borolo, 2024-01-01.

结语

AI目前存在的问题还有哪些?

可以看到,生成的视频已经比较有 sense 了。但是依然很不完美,存在很多瑕疵。例如生成视频的画质有待提高、细节模糊、人物一致性待提高、各个镜头时长较短(Pika目前支持生成3秒视频,更长的视频生成需要用到各种trick,效果还不够好)等等。
个人认为目前存在的主要问题有两个:

  1. 一致性
    这个我们提到了很多次。如何保持角色、背景等各种元素的连续一致,是视频生成重的重要问题。
  1. 可控性
    如何让 AI 更符合人的实际操作需求,实现任意精度的可控。大到主题、人物风格,小到发型、手部动作、镜头运动等等

AI发展的前景

2023年是AI技术狂飙的一年:年初ChatGPT的上线冲击了人们对AI的印象,开启了各方的AI军备竞赛,以至于疯狂到大家已经来不及发论文,甚至来不及挂arxiv,一个空的Github repository,一条Twitter就可以直接发布消息。

时间来到2024年,当我写下这一行字时,是2024年1月2日。我想信,这一年内,视频生成技术就会得到质的提升,达到商用级别。目前我们视频中反映出的目前AI工具的不足都会得到巨大改善,而目前操作各种工具所需要的奇淫巧技也都会失去意义。

未来人的核心能力

AI越来越强,但人的学习速度却远远比不上它。

在这样的时代,人的价值该如何体现呢?

个人认为,无论工具再强,它的目的也是为了服务人类。假如出现超级智能并被滥用,那是工具使用者的恶意造成的恶果。往好的一面想,AI能让“超级个体”的存在成为可能。“好的创意”变得更加有价值。因为即使AI能生成优美的诗句、视频、甚至代码、游戏等等,如果没有好的idea,也不过是让人作为旁观者欣赏AI从“诗云”攫取好诗而已,并没有实现自我价值。

以动画创作为例,即使AI工具变得越来越强,创作者也需要了解动画制作的基本原理,明白好的脚本、分镜、画风设定、镜头语言等对一部作品的重要性。没有对这些的理解和控制,作品也就缺乏了人的灵魂。

各种AI和在线免费工具

这里我们列举一些不同步骤中我们用到的或者网上推荐的各类工具[15]。

参考资料

[1] 舛本和也. “制作进行: 一本书让你彻底了解动画制作”. 南海出版公司. 2022.

[2] 極限daruma -動畫製作- (YouTube网名). “從零開始做動畫”. 2023.

[3] 贫血王子(知乎网名). “动画分镜入门:28张动图领略“镜头语言”的魅力”. 2019.

[4] Bazille (知乎网名). “详细说一说动画作品的制作流程”. 2019.

[5] 宫崎骏与久石让中文百科. “https://ghibliwiki.org/zh-hans/文档:24格/吉卜力LAYOUT使用法”. 2023.

[6] Washi’s Blog. ”Anime Production – Detailed Guide to How Anime is Made and the Talent Behind it!”. 2011.

[7] GAMECORES 機核網. “【不懂二次元vol.7】如何製作日本動畫?”. 2016.

[8] 中割りの基本. 2018

[9] ANIME PRODUCTION WALKTHROUGH: CELS, DOUGA, GENGA AND MORE. 2017

[10]極限daruma -動畫製作- (YouTube网名). “最強的動畫工具 律表介紹”. 2023.

[11] 贫血王子(知乎网名). “律表的作用及标注方法”. 2020.

[12] 艺类(知乎网名). “什么是赛璐璐(Celluloid)”. 2021.

[13] Productive Dude (YouTube网名). “Get Consistent Characters in MidJourney! ✨(The BEST Method)”. 2023.

[14] SG. “Crafting Cartoons with Pika Labs AI Video: Your Comprehensive Guide”. 2023.

[15] PromptJungle. “Best AI Animation Tutorial - FREE Options | Step-by-Step (Ghibli Studio Inspired)”. 2023.